From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents
从序列到结构:LLM Agent 的关系型不确定性传播
🧭 LLM Agent 轨迹级不确定性量化 ★ 深度解读
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
将 Agent 执行轨迹建模为关系图并传播不确定性,提升长程任务失败检测与提前干预能力
📌 工作参考价值(4 点)
- 在电商导购/客服 Agent 的多步工具调用链中,可把轨迹建成关系图,重点监控 repetition、feedback conflict、goal drift 等边类型,形成失败预警信号;这比只看 token entropy 更能提前发现连环错误。
- 图构建采用轻量规则 + embedding/tool signature 匹配 + lexical cues,不增加大模型调用成本;可在搜索/推荐助手中实时识别 error、empty observation、重复 action 等,触发降级、重试或人工接管。
- 不确定性引导采样策略可落地:每步生成多个候选 action/query,选择 RUPA 风险最低者执行,适用于商品搜索、参数补全、推荐解释生成等需要抉择的场景。
- 论文的 entropy-matched 分析表明,即使单步置信度相近,轨迹结构信息仍有区分度;因此推荐/搜索 Agent 可把轨迹图风险作为排序或策略选择的额外特征,而不是只依赖单步 model confidence。